This paper is a technical overview of DeepMind and Google's recent work on reinforcement learning for controlling commercial cooling systems. Building on expertise that began with cooling Google's data centers more efficiently, we recently conducted live experiments on two real-world facilities in partnership with Trane Technologies, a building management system provider. These live experiments had a variety of challenges in areas such as evaluation, learning from offline data, and constraint satisfaction. Our paper describes these challenges in the hope that awareness of them will benefit future applied RL work. We also describe the way we adapted our RL system to deal with these challenges, resulting in energy savings of approximately 9% and 13% respectively at the two live experiment sites.
translated by 谷歌翻译
2022-09-16
已经开发了增强学习（RL）技术来优化工业冷却系统，与传统的启发式政策相比，提供了可观的节能。工业控制中的一个主要挑战涉及由于机械限制而在现实世界中可行的学习行为。例如，某些操作只能每隔几个小时执行一次，而其他动作可以更频繁地采取。如果没有广泛的奖励工程和实验，RL代理可能无法学习机械的现实操作。为了解决这个问题，我们使用层次结构的增强学习与多种根据操作时间尺度控制动作子集的代理。我们的分层方法可以在现有基线上节省能源，同时在模拟的HVAC控制环境中保持在安全范围内的限制（例如操作冷却器）。
translated by 谷歌翻译
2022-07-26
我们提出了一个混合工业冷却系统模型，该模型将分析解决方案嵌入多物理模拟中。该模型设计用于增强学习（RL）应用程序，并平衡简单性与模拟保真度和解释性。该模型的忠诚度根据大规模冷却系统的现实世界数据进行了评估。接下来是一个案例研究，说明如何将模型用于RL研究。为此，我们开发了一个工业任务套件，该套件允许指定不同的问题设置和复杂性水平，并使用它来评估不同RL算法的性能。
translated by 谷歌翻译
The monograph summarizes and analyzes the current state of development of computer and mathematical simulation and modeling, the automation of management processes, the use of information technologies in education, the design of information systems and software complexes, the development of computer telecommunication networks and technologies most areas that are united by the term Industry 4.0
translated by 谷歌翻译
Inverse problems are paramount in Science and Engineering. In this paper, we consider the setup of Statistical Inverse Problem (SIP) and demonstrate how Stochastic Gradient Descent (SGD) algorithms can be used in the linear SIP setting. We provide consistency and finite sample bounds for the excess risk. We also propose a modification for the SGD algorithm where we leverage machine learning methods to smooth the stochastic gradients and improve empirical performance. We exemplify the algorithm in a setting of great interest nowadays: the Functional Linear Regression model. In this case we consider a synthetic data example and examples with a real data classification problem.
translated by 谷歌翻译
这项工作介绍了一个新颖的知识蒸馏框架，用于分类任务，其中可用并考虑到现有子类信息。在具有少量类或二进制检测的分类任务中，从教师到学生的信息量受到限制，从而限制了知识蒸馏的效用。通过利用类中可能的子类信息可以提高性能。为此，我们提出了所谓的子类知识蒸馏（SKD），这是将预测子类知识从老师转移到较小学生的过程。在老师的课堂逻辑中不存在的有意义的信息，而是在子类徽标中存在（例如，课堂内的相似之处）将通过SKD传达给学生，然后将提高学生的表现。从分析上，我们衡量教师可以通过SKD向学生提供多少额外信息，以证明我们工作的功效。开发的框架是在临床应用中评估的，即结直肠息肉分类。这是两个类别和每个类的许多子类的实际问题。在此应用程序中，使用临床医生提供的注释来根据注释标签的学习方式来定义子类。接受SKD框架训练的轻巧，低复杂的学生的F1得分为85.05％，提高了1.47％，比学生分别接受和没有常规知识蒸馏的学生获得了2.10％的收益。接受和没有SKD的学生之间的2.10％的F1得分差距可以通过额外的子类知识来解释，即，每个样本的额外的0.4656标签位可以在我们的实验中转移。
translated by 谷歌翻译
基于变压器的模型在多个领域和任务上显示了它们的有效性。自我注意力允许将所有序列元素的信息结合到上下文感知表示形式中。但是，全球和本地信息必须主要存储在相同的元素表示中。此外，输入序列的长度受到自我注意的二次计算复杂性的限制。在这项工作中，我们提出并研究了一个记忆启动的片段级循环变压器（复发记忆变压器）。内存允许借助复发的帮助存储和处理本地和全局信息，并可以在长序列的段之间传递信息。我们通过将特殊的内存令牌添加到输入或输出序列中，实现了一个内存机制，无需更改变压器模型。然后，对变压器进行了训练，以控制内存操作和序列表示处理。实验的结果表明，我们的模型与Transformer-XL在语言建模上的较小内存大小上的表现相同，并在需要更长序列处理的任务方面胜过它。我们证明，将内存令牌添加到TR-XL可以提高IT性能。这使得反复的内存变压器成为需要学习长期依赖性和内存处理中的通用性（例如算法任务和推理）的应用程序的有前途的体系结构。
translated by 谷歌翻译
Random quantum circuits have been utilized in the contexts of quantum supremacy demonstrations, variational quantum algorithms for chemistry and machine learning, and blackhole information. The ability of random circuits to approximate any random unitaries has consequences on their complexity, expressibility, and trainability. To study this property of random circuits, we develop numerical protocols for estimating the frame potential, the distance between a given ensemble and the exact randomness. Our tensor-network-based algorithm has polynomial complexity for shallow circuits and is high-performing using CPU and GPU parallelism. We study 1. local and parallel random circuits to verify the linear growth in complexity as stated by the Brown-Susskind conjecture, and; 2. hardware-efficient ans\"atze to shed light on its expressibility and the barren plateau problem in the context of variational algorithms. Our work shows that large-scale tensor network simulations could provide important hints toward open problems in quantum information science.
translated by 谷歌翻译
多目标算法的性能随问题而变化，因此很难开发新算法或将现有的算法应用于新问题。为了简化新的多目标算法的开发和应用，对组件零件的自动设计产生了越来越多的兴趣。这些自动设计的元启发式学可以胜过其人类开发的对应物。但是，仍然不确定什么是导致其性能提高的最有影响力的组成部分。这项研究介绍了一种新方法，以研究自动设计算法的最终配置的影响。我们将此方法应用于基于IRACE软件包设计的分解（MOEA/D）的表现良好的多物镜进化算法，该算法是在9个受约束问题上设计的。然后，我们将算法组件的搜索轨迹网络（STN），人群的多样性和HyperVolume的影响对比。我们的结果表明，最有影响力的组件是重新启动和更新策略，性能和更明显的度量值的增长更高。同样，它们的相对影响取决于问题的难度：在MOEA/D表现更好的问题中，不使用重新启动策略更具影响力；尽管更新策略在MOEA/D执行最差的问题中更具影响力。
translated by 谷歌翻译
本文提出了一个分类模型，用于根据其平衡来预测比特币地址的主要活动。由于余额是时间的函数，因此我们应用功能数据分析的方法；更具体地说，提出的分类模型的特征是数据的功能主组件。分类比特币地址是一个相关问题，其主要原因是：了解比特币市场的组成，并确定用于非法活动的地址。尽管已经提出了其他比特币分类器，但它们主要关注网络分析而不是曲线行为。另一方面，我们的方法不需要任何网络信息进行预测。此外，与专家构建的功能不同，功能功能具有直接构建的优势。结果表明，当将功能特征与标量特征相结合时，使用这些功能分别将功能特征与标量特征相似，而对于模型分别使用这些功能，这表明功能模型是当域特异性知识时是一个不错的选择。
translated by 谷歌翻译